Земли в Хатунской волости были пожалованы А.Г. Орлову в 1773 году, часть их он передал младшему брату, который, выйдя в отставку в 1774 году, занялся строительством усадьбы, которая должна была напоминать поместье английского лорда. Имя архитектора осталось неизвестным, исследователями выдвигаются предположения о авторстве К. Бланка или В. Баженова. Усадьбу окружал пейзажный парк, в котором разводили соловьёв, ручных лосей, косуль и оленей.
В 1777 году было получено разрешение на строительство церкви Николая Чудотворца. В начале XIX века была построена усыпальница. После смерти В. Орлова его дочь, Е.В. Новосильцева, построила мавзолей по проекту Д. Жилярди.
В 1845 году Новосильцева продала имение своему племяннику, В. П. Давыдову, который продолжил его обустройство. В середине XIX века к главному дому добавились террасы-ротонды, а к фасаду, выходящему в парк, были пристроены две оранжереи по проекту архитектора М. Быковского.
Сразу после октябрьской революции началось разграбление. 31 октября 1918 года Отрада была взята на государственный учёт. В 1918 году в четырёх комнатах второго этажа был создан музей, а в остальных помещениях размещён сельскохозяйственный техникум. В последствии здесь располагались: детский дом имени Карла Маркса, Поливановский педагогический техникум, школу крестьянской молодежи (ШКМ), Серпуховское отделение Биостанции юных натуралистов, агропедстанция Михневского района (АПС), Опытная педагогическая станция Наркомпроса (ОПС), школа-десятилетка "Комсомольская Отрада", вторая Московская школа НКВД, дачи детсадов МГБ.
До 1990-х годов на ее территории располагался санаторий "Семёновское". Сейчас усадьба в федеральной собственности, но находится на огороженной территории санатория ФСБ. Все постройки в плачевном состоянии, крыша дворца уничтожена, осадки продолжают разрушать конструкции. Доступ хоть и ограничен, но возможен.